iT邦幫忙

2024 iThome 鐵人賽

DAY 22
0

一、前言

滑鼠和鍵盤操作是 Power Automate Desktop 中的自動化工具之一。它的使用方式很簡單,主要作用在於模擬人工操作滑鼠和鍵盤,常見的情境會是在應用程式間切換、資料輸入、以及文件處理。在本文中,我們將介紹幾個常用的滑鼠鍵盤功能,幫助你更有效地利用這項簡易又好用的工具。

二、滑鼠與鍵盤操作的特性及常見情境

1. 簡單易用

滑鼠和鍵盤操作是 Power Automate Desktop 最直觀的自動化方式,幾乎不需要額外的技術門檻。用戶可以透過滑鼠點擊來模擬手動操作,如打開應用程式、點擊按鈕或選擇選項。鍵盤操作則能模擬輸入文字、使用快捷鍵等功能,非常適合一些簡單重複的任務。

2. 靈活應用於不同環境

滑鼠和鍵盤操作能在不同的應用程式間靈活應用,無論是桌面應用、瀏覽器,還是文件處理工具。這讓它特別適合處理需要在多個應用程式間進行操作的工作流程。例如,在 Excel 中複製資料,並貼上到某個網站的表單中,這種場景可以輕鬆利用滑鼠和鍵盤來完成。

3. 快速解決無法識別的 UI 元素

在某些情況下,特定應用程式或網頁的 UI 元素可能無法被正確抓取或識別。這時,滑鼠和鍵盤操作提供了一個可行的解決方案,可以透過座標定位和模擬按鍵輸入,來繞過這些限制,實現流程自動化。

在資料處理上,滑鼠與鍵盤操作能輕鬆自動化表單填寫任務。例如,當你需要將某些固定格式的資料填寫到一個網頁表單中時,滑鼠操作可以幫助你點擊每個表單欄位,然後透過鍵盤輸入相應的數據,最後模擬點擊提交按鈕,完成整個表單提交過程。這樣的過程就會比起逐一選擇 UI 元素來得更有效率。

4. 文件管理操作

滑鼠和鍵盤操作也廣泛應用於日常的檔案管理。透過滑鼠點擊來選擇檔案、右鍵選單來執行複製、貼上或刪除,這些日常工作可以輕鬆自動化。例如,利用鍵盤的 Ctrl+C 和 Ctrl+V 快捷鍵,就會比起埋頭苦思如何設定流程腳本、變數或是條件式等,更有效率的批量處理檔案的複製與移動。

三、滑鼠與鍵盤操作的具體實作步驟

1. 傳送滑鼠按一下

在左側動作欄找到「滑鼠和鍵盤」的一系列動作後,選擇此動作後,一般來說「移動滑鼠」的欄位都會是關閉的。這邊我們會需要把這個欄位打開,才能進一步設定滑鼠的相關位置。
打開後會發現有 X 和 Y,代表的是游標在畫面上的位置,當我們鎖定好要使滑鼠點選的位置後,就在游標移到該畫面時,按下 control+shift。
另外還有一些欄位可以設定,分別由上而下是:「要傳送的滑鼠事件」、「等候」、「相對於」和「滑鼠移動樣式」。這些欄位都不難理解,有需要進行特殊設定時,可以將游標移動到該欄位右邊有個!符號的 icon 即會浮現相關說明。
https://ithelp.ithome.com.tw/upload/images/20241004/20169459BAbEsNjJFV.png

2. 移動滑鼠至影像

這是另一個會滿常使用的滑鼠功能,我們可以先點選這個動作中的「選取影像」,接著會出現一個像素滿低的放大鏡,移動到我們所需的影像按一下左鍵就會抓到該影像了。
不過要注意的是實測下來,對於類似圖示的辨識度不是到非常理想,如果畫面中剛好會有非常雷同的圖示,建議還是透過別的方式抓取 UI 元素會更穩定一些。

3. 傳送按鍵

通常傳送按鍵常會用於一些打開或關閉應用程式的快捷鍵,打開這個動作後,一般需要調整的欄位會是「要傳送的文字」,可以在這邊直接透過輸入指令,又或是透過下方的「插入特殊鍵」和「插入輔助按鍵」的下拉選單找到所需按鍵。
此處示範的是直接輸入鍵盤文字,這邊我們要輸入的是 Control+W,所以我在這欄中填入 {Control}({W}) ,第一個按鍵使用單純的大括號包覆;第二個按鍵則同樣使用大括號包覆,不過在最外層加上了一對小括號。


此次實作的是簡易流程,目標是讓 RPA 可以自動點開記事本,接著移動到資料夾並點選,打開之後透過快捷鍵 Ctrl+W 將資料夾關閉。

參考流程腳本畫面
https://ithelp.ithome.com.tw/upload/images/20241004/20169459cU1tT5DKXD.png

參考流程運作畫面

四、小結

滑鼠與鍵盤操作是 Power Automate Desktop 中的核心工具,適用於多種簡易的日常自動化需求,操作起來簡單、靈活性高,尤其在無法使用其他方法時,提供了一個替代解決方案。希望透過這篇文章的介紹,可以幫助大家認識這個簡單但卻能在不起眼的地方發揮功用的功能。

文章同步刊載於此


上一篇
Power Automate Desktop:Outlook 信件自動化
下一篇
Power Automate Desktop:OCR 辨識
系列文
30 天打造 RPA 自動化流程:Power Automate 從入門到實戰30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言